Bơm khuếch tán chỉ có thể làm việc khi môi trường đạt độ chân không sơ cấp cần thiết (từ 10−3 đến 10−4 Torr). Để đạt được chân không đó, ban đầu người ta dùng một bơm sơ cấp là bơm chân không cơ học để tạo ra chân không sơ cấp ban đầu. Cấu tạo chính của bơm khuếch tán là một buồng đốt nhiều tầng. Người ta sử dụng buồng đốt để đun sôi một loại dầu (gọi là dầu chân không) có nhiệt độ hóa hơi thấp. Các dòng hơi dầu khi bay hơi lên sẽ hấp phụ các phân tử khí khuếch tán từ môi trường cần tạo chân không cao. Sau khi hấp phụ, dầu được làm lạnh và bị rơi xuống, nhả các phân tử khí theo một đường khác (nhờ hệ bơm cơ học đi kèm) và quay trở lại buồng đốt.